Trên trang Metacritic, nơi tiêu chuẩn hóa các đánh giá trên thang điểm 100 theo tập hợp các bài phê bình từ giới chuyên môn âm nhạc, All of You nhận được số điểm trung bình là 72, dựa trên 6 bài đánh giá, đồng nghĩa với mức đánh giá tích cực.[20] Kyle Anderson từ Tạp chí Entertainment Weekly cho kết quả tích cực, khi cho rằng "All of You chứng tỏ cô không chỉ đáng giá bởi nụ cười hay những cú hất tóc mà thôi."[15] Gary Graff từ Tạp chí Billboard cũng cho một đánh giá tích cực, khi cho rằng Colbie "cho thấy sự thông thái và tìm được thế cân bằng và sự trưởng thành về mặt nhạc lý. Cho dù vẫn còn những khoảnh khắc loạng choạng (như đoạn 'We go together like peanuts and paydays, Marley and reggae') khi Caillat vẫn đặt một chân ở dòng nhạc contemporary kiểu của Disney Channel và chân còn lại ở ngôi làng Laurel Canyon xa xôi nào đó. Thế nhưng, vẫn không tài nào không trân trọng một bài hát nhẹ nhàng như 'What If' đã xuất hiện trong phim Letters to Juliet, và bản cùng tên album-và hai bài hát bùng nổ 'Brighter Than the Sun' và 'Favorite Song' mà cô lần lượt hợp tác cùng Ryan Tedder và Common"[13] Stephen Thomas Erlewine từ Allmusic tiếp tục cho một bài đánh giá tích cực về album này và gọi đây "dễ dàng là bản thu âm xuất sắc nhất của cô ấy."[11] Mikael Wood từ Los Angeles Times đã viết rằng album này mang "một tầm cao mới trong việc thực hiện album của cô ấy."[16] Trong một bài đánh giá rất tích cực từ Bill Lamb của About.com, nơi anh phong tặng album này 4/5 sao và khẳng định cô "tự bạch về nhiều điều trong album thứ ba All Of You, và nó khiến cả album thể hiện khá tốt."[10]

Một nhận xét trái chiều hơn đến từ Chris Willman của Chicago Tribune[14] và từ Sputnikmusic khi gọi đây là "album mâu thuẫn nhất của cô ấy", và nói rằng "Cô ấy xứng đáng được nhận một vài lời khen khi cố gắng thoát khỏi những công thức đang trở nên cũ kĩ dần đi, nhưng thật không may, lần này cô ấy lại thất bại nhiều hơn là những lần cô đạt thành công."[18] Mike Driver có viết trên BBC Music rằng "Caillat chưa bao giờ cho thấy cô ấy là một ca sĩ đơn ca đáng để người khác đầu tư hết mình vào cô. Cô ấy hát một cách hay vừa đủ, nhưng thiếu đi một cú hích mà những nghệ sĩ thành công nhất trong thị trường đông đúc ngày nay thường hay có."[12] Jaymie Baxley từ Tạp chí Slant tiếp tục cho một đánh giá tiêu cực, khi chỉ cho album này 1.5/5 sao và cho rằng "Trong hầu hết album, All of You khiến người khác không thể phân biệt được nó với những sản phẩm trước của Caillat..."[17]